语言模型中的自我保存
🧭 持续学习 · 自生成重放防遗忘
New York University · Google Research · Cornell University
用 Task Bank 与自生成重放实现更广泛的持续学习防遗忘，并证明模型可辅助选择重放目标
📌 工作参考价值（4 点）
- 在模型周期更新（如新增品类、场景）时，不要只保存固定旧任务样本，可让冻结的旧模型根据 Task Bank 自动生成重放数据，覆盖面更广，减少对原始训练数据的依赖。
- 用带权重/相关性的 Task Bank 选择重放目标：新任务知情的选择在 4B 模型上能提升旧能力保留率，但在小模型上不一定有效，业务小模型需谨慎验证。
- 监控“之前回答正确的样本的保留率”，而不仅是平均准确率；推荐/广告模型更新时也建议监控老用户、长尾场景的指标，防止平均指标掩盖遗忘。
- 在固定示例预算下，可以用少量新任务样本换取更多重放样本，以旧能力稳定为优先；对线上稳定性要求高的场景（如广告出价、搜索排序）更适用。
用采样做微调：SFT 比你想的更强
🧭 LLM 后训练 · MCMC 数据分布塑造 ★ 深度解读
Harvard University
用投影采样把离策略专家轨迹逐步变为接近基座模型分布的数据，使 SFT 在科学、数学、医学任务上超越 RL 与自蒸馏
📌 工作参考价值（4 点）
- 在电商/导购 Agent 里做 LLM 后训练时，如果手里有 GPT-4/GPT-5 生成的专家轨迹（如 query 改写、商品文案、购物建议），不要直接 SFT。可以先跑一遍投影采样，把专家轨迹改写到基座模型自己的分布附近，再做 SFT，能明显减少通用能力遗忘。
- 对难以写出 reward 的开放任务（如导购对话、医学/法规咨询生成），可以先采样出 on-policy 版本的高质量轨迹，再 SFT；这比直接上 GRPO/RL 更稳，工程上只需要离线数据加工，不改变现有 SFT 训练管线。
- 采样成本是一次性的，适合电商场景里「预先生成训练数据 → 日常微调」：建议 B=32、N_MCMC=10 起步，后续用 MCMC 步数作为数据质量与 token 成本的旋钮；图 5 表明加采样步数能单调降低数据 KL、提高下游精度。
- 如果要继续上 RL，采样 SFT 的 checkpoint 是很好的 RL 初始化，数学任务里 Sampling SFT + RL 拿到了更强结果；在商品推荐 Agent 的 RL 训练前可用同方案做 warm-start。
On-Policy 与 Off-Policy 学习：蒸馏动力学的系统研究
🧭 蒸馏训练策略对比 ★ 深度解读
University of Cambridge
在强到弱蒸馏中解耦 rollout 策略、KL 方向和 learning rate，发现 on-policy 无一致优势，forward KL 更鲁棒，learning rate 主导遗忘与稀疏性
📌 工作参考价值（4 点）
- 在构建领域 LLM 蒸馏流水线（如将大模型蒸馏到线上小模型用于 query 理解或文案生成）时，优先使用 forward KL + off-policy 数据：成本低且对 rollout 策略鲁棒，不必频繁生成 on-policy 样本。
- 控制 learning rate 是平衡效果与灾难性遗忘的关键旋钮；如果微调后通用能力下降，先调低 learning rate，而不是转向 on-policy 采样。
- 如果需要提升模型对更难任务（如从简单商品描述生成到复杂营销文案）的泛化，可适量引入 on-policy 数据，但注意后续若接 RLVR，该优势可能消失。
- 若要抑制教师模型的风格/偏见迁移（如避免推荐文案出现不符合品牌调性的表达），可考虑 on-policy rollouts + reverse KL 组合。
针对翻译微调LLM：通用遗忘缓解不保护MT特定指令遵循
🧭 LLM 微调与灾难性遗忘缓解
AppTek GmbH, Aachen, Germany · Machine Learning and Human Language Technology, RWTH Aachen University, Germany · Applied Science Private University, Amman, Jordan
比较微调中的遗忘缓解方法，发现EWC保留通用能力最好，但只有混合控制任务数据可保留MT特定指令遵循，且泛化有限
📌 工作参考价值（3 点）
- 在电商/推荐场景微调LLM（如生成推荐文案、query改写、对话Agent）时，建议添加EWC正则化：实现简单，能显著减缓通用基准能力下降（本文8B模型仅降1.7分 vs 标准微调11.0），同时不影响领域任务性能。
- 若需要保留多种控制能力（如文案语气、长度、格式），仅靠通用遗忘缓解不够，应在微调数据中混合少量控制任务示例，但需注意对未见过的指令模板泛化有限，因此要持续扩充控制任务的数据多样性。
- 评估微调模型时必须同时监控通用能力和任务特定指令遵循，不能只看单一指标，因为通用能力保留不代表特定控制能力保留。
侵入者阈值：LoRA微调的频谱定律
🧭 LoRA微调侵入维度预测 · 理论临界阈值
Technical University of Munich
推导逐层临界更新强度，无参数预测LoRA微调产生灾难性遗忘的侵入维度
📌 工作参考价值（4 点）
- LoRA 超参预警：计算每层临界强度 \(s^* = \bar{\theta}/(\gamma \sigma_1(BA))\)，仅需一次 SVD，无需验证集扫描，可在微调前诊断层是否易产生记忆覆盖，指导学习率、秩 \(r\) 的设置。
- 遗忘抑制规则：依据阈值推导的 spike-budget rule，限制侵入维度数量，在最脆弱模型上降低 62% 遗忘，且不损失任务性能，适用于推荐系统多任务微调时保护旧任务。
- 安全微调策略选择：全量微调天然安全（更新分散在阈值以下），若 LoRA 更新强度接近阈值，可切换更高秩或调整学习率，避免 Agent 在持续学习时遗忘领域知识。
- 层冻结依据：通过阈值快速筛选高风险层，仅冻结这些层或对其施加更小学习率，在电商搜索或广告模型中平衡新任务学习与遗留能力。
面向任务无关持续学习的稀疏子空间到专家共享方法
🧭 LLM 持续学习 · Mixture of Sparse Experts
Iowa State University · Argonne National Laboratory
通过稀疏 MoE 自适应分解任务共享与特有知识，并用弹性锚定和路由正则化缓解灾难性遗忘
📌 工作参考价值（4 点）
- 多任务推荐的增量更新可借鉴任务特定与共享专家分离：当电商推荐需要持续适配新品类或促销时，将突发 pattern 注入专属专家，避免覆盖通用偏好知识。
- 路由感知正则化与弹性锚定对在线模型稳定更新有参考价值：在推荐系统不停服微调时，可对关键共享参数施加弹性约束，防止遗忘核心基础能力。
- 稀疏激活的 MoE 结构天然适合低延迟服务：在生成式推荐或 Agent 中，每次推理仅激活少量专家，可控制计算开销，适合在线增量学习场景。
- 任务无关的自动门控机制对 Agent 长程任务序列有效：Agent 持续学习多工具调用时，门控可按子任务组合历史专家，无需人工指定，提升向后迁移。
MixSD：混合上下文自蒸馏用于知识注入
🧭 知识注入 · 混合自蒸馏 · 分布对齐 ★ 深度解读
Carnegie Mellon University · University of Toronto · University of Illinois Urbana-Champaign · Princeton University · Cornell University
提出MIXSD，通过混合基础模型自身专家与朴素条件采样构建分布对齐监督，大幅减轻知识注入时的灾难性遗忘。
📌 工作参考价值（4 点）
- 用模型自身的语境采样作为监督信号：在注入新知识时，不直接使用人工书写的目标文本，而是用基础模型在“看到事实”与“未看到事实”两种条件分布下采样的token混合生成训练目标，使监督更贴近模型原有分布，减少分布偏移带来的遗忘。
- 通过混合率 λ 灵活控制注入与保留的平衡：λ=0.3–0.5 通常可保持注入准确率的同时大幅提升通用能力保留；在电商/Agent 场景下，可将该超参数作为调节“领域知识吸收 vs 通用能力保持”的杠杆，无需复杂正则化。
- 替代昂贵的 on‑policy 自蒸馏：MIXSD 仅需一次离线生成混合 rollouts，训练成本与 SFT 相近，却显著优于 OPSD 等 on‑policy 方法，适合工业级知识注入流程。
- 用 Fisher 对齐比率诊断遗忘风险：发现参数更新方向（而非幅度）与遗忘强相关，可在微调过程中监控该指标，提前预警能力退化；对于 Agent 多步推理能力保持尤其重要。